Telegram Group & Telegram Channel
Что делать, если распределение данных меняется со временем? Как это влияет на валидацию и Early Stopping

Когда данные со временем «плывут» (то есть меняется их распределение), фиксированный валидационный набор устаревает. В этом случае Early Stopping может остановить обучение в «лучшей» точке для старого распределения, но не для актуального.

🔍 Что можно сделать

1. Обновлять или ротационно менять валидационный набор
— Чтобы он отражал текущее состояние данных, а не прошлое.


2. Использовать скользящие метрики или онлайн-мониторинг
— Особенно в потоковых системах: метрики качества считаются по «живым» данным, а не по статичному отрезку.


3. Переобучать или дообучать модель при обнаружении дрейфа
— Если обнаружили drift, стоит не просто дообучить модель, а пересобрать или адаптировать её с учётом новых данных.


⚠️ Подводный камень:
Если валидация остаётся неизменной, вы можете не заметить, что модель перестала работать. Early Stopping в этом случае остановит обучение слишком рано или слишком поздно — и модель будет плохо обобщать на реальные данные.

Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM



tg-me.com/ds_interview_lib/984
Create:
Last Update:

Что делать, если распределение данных меняется со временем? Как это влияет на валидацию и Early Stopping

Когда данные со временем «плывут» (то есть меняется их распределение), фиксированный валидационный набор устаревает. В этом случае Early Stopping может остановить обучение в «лучшей» точке для старого распределения, но не для актуального.

🔍 Что можно сделать

1. Обновлять или ротационно менять валидационный набор
— Чтобы он отражал текущее состояние данных, а не прошлое.


2. Использовать скользящие метрики или онлайн-мониторинг
— Особенно в потоковых системах: метрики качества считаются по «живым» данным, а не по статичному отрезку.


3. Переобучать или дообучать модель при обнаружении дрейфа
— Если обнаружили drift, стоит не просто дообучить модель, а пересобрать или адаптировать её с учётом новых данных.


⚠️ Подводный камень:
Если валидация остаётся неизменной, вы можете не заметить, что модель перестала работать. Early Stopping в этом случае остановит обучение слишком рано или слишком поздно — и модель будет плохо обобщать на реальные данные.

Библиотека собеса по Data Science

BY Библиотека собеса по Data Science | вопросы с собеседований


Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283

Share with your friend now:
tg-me.com/ds_interview_lib/984

View MORE
Open in Telegram


Библиотека собеса по Data Science | вопросы с собеседований Telegram | DID YOU KNOW?

Date: |

What Is Bitcoin?

Bitcoin is a decentralized digital currency that you can buy, sell and exchange directly, without an intermediary like a bank. Bitcoin’s creator, Satoshi Nakamoto, originally described the need for “an electronic payment system based on cryptographic proof instead of trust.” Each and every Bitcoin transaction that’s ever been made exists on a public ledger accessible to everyone, making transactions hard to reverse and difficult to fake. That’s by design: Core to their decentralized nature, Bitcoins aren’t backed by the government or any issuing institution, and there’s nothing to guarantee their value besides the proof baked in the heart of the system. “The reason why it’s worth money is simply because we, as people, decided it has value—same as gold,” says Anton Mozgovoy, co-founder & CEO of digital financial service company Holyheld.

How to Use Bitcoin?

n the U.S. people generally use Bitcoin as an alternative investment, helping diversify a portfolio apart from stocks and bonds. You can also use Bitcoin to make purchases, but the number of vendors that accept the cryptocurrency is still limited. Big companies that accept Bitcoin include Overstock, AT&T and Twitch. You may also find that some small local retailers or certain websites take Bitcoin, but you’ll have to do some digging. That said, PayPal has announced that it will enable cryptocurrency as a funding source for purchases this year, financing purchases by automatically converting crypto holdings to fiat currency for users. “They have 346 million users and they’re connected to 26 million merchants,” says Spencer Montgomery, founder of Uinta Crypto Consulting. “It’s huge.”

Библиотека собеса по Data Science | вопросы с собеседований from ua


Telegram Библиотека собеса по Data Science | вопросы с собеседований
FROM USA